A Learning-based Mathematical Programming Formulation for the Automatic Configuration of Optimization Solvers

We propose a methodology, based on machine learning and optimization, for selecting a solver configuration for a given instance. First, we employ a set of solved instances and configurations in order to learn a performance function of the solver. Secondly, we formulate a mixed-integer nonlinear program where the objective/constraints explicitly encode the learnt information, and which we solve, upon the arrival of an unknown instance, to find the best solver configuration for that instance, based on the performance function. The main novelty of our approach lies in the fact that the configuration set search problem is formulated as a mathematical program, which allows us to a) enforce hard dependence and compatibility constraints on the configurations, and b) solve it efficiently with off-the-shelf optimization tools

Cycle-based formulations in Distance Geometry

The distance geometry problem asks to find a realization of a given simple edge-weighted graph in a Euclidean space of given dimension K, where the edges are realized as straight segments of lengths equal (or as close as possible) to the edge weights. The problem is often modelled as a mathematical programming formulation involving decision variables that determine the position of the vertices in the given Euclidean space. Solution algorithms are generally constructed using local or global nonlinear optimization techniques. We present a new modelling technique for this problem where, instead of deciding vertex positions, formulations decide the length of the segments representing the edges in each cycle in the graph, projected in every dimension. We propose an exact formulation and a relaxation based on a Eulerian cycle. We then compare computational results from protein conformation instances obtained with stochastic global optimization techniques on the new cycle-based formulation and on the existing edge-based formulation. While edge-based formulations take less time to reach termination, cycle-based formulations are generally better on solution quality measures

Improved local models and new Bell inequalities via Frank-Wolfe algorithms

In Bell scenarios with two outcomes per party, we algorithmically consider the two sides of the membership problem for the local polytope: constructing local models and deriving separating hyperplanes, that is, Bell inequalities. We take advantage of the recent developments in so-called Frank-Wolfe algorithms to significantly increase the convergence rate of existing methods. As an application, we study the threshold value for the nonlocality of two-qubit Werner states under projective measurements. Here, we improve on both the upper and lower bounds present in the literature. Importantly, our bounds are entirely analytical; moreover, they yield refined bounds on the value of the Grothendieck constant of order three: $1.4367\leqslant K_G(3)\leqslant1.4546$. We also demonstrate the efficiency of our approach in multipartite Bell scenarios, and present the first local models for all projective measurements with visibilities noticeably higher than the entanglement threshold. We make our entire code accessible as a Julia library called BellPolytopes.jl.Comment: 16 pages, 3 figure

Cycle-based formulations in Distance Geometry

The distance geometry problem asks to find a realization of a given simple edge-weighted graph in a Euclidean space of given dimension K, where the edges are realized as straight segments of lengths equal (or as close as possible) to the edge weights. The problem is often modelled as a mathematical programming formulation involving decision variables that determine the position of the vertices in the given Euclidean space. Solution algorithms are generally constructed using local or global nonlinear optimization techniques. We present a new modelling technique for this problem where, instead of deciding vertex positions, formulations decide the length of the segments representing the edges in each cycle in the graph, projected in every dimension. We propose an exact formulation and a relaxation based on a Eulerian cycle. We then compare computational results from protein conformation instances obtained with stochastic global optimization techniques on the new cycle-based formulation and on the existing edge-based formulation. While edge-based formulations take less time to reach termination, cycle-based formulations are generally better on solution quality measures.Comment: 16 page

Algorithmic Configuration by Learning and Optimization

The research topics of this Ph.D. thesis lie at the intersection of Machine Learning (ML) and Mathematical Programming (MP). The main contributions concern the algorithm configuration problem and the distance geometry problem. Given a configurable algorithm A and an input P for A, the algorithm configuration problem (ACP) addresses the issue of identifying the parameter configuration of A ensuring the best algorithmic performance in solving P. We propose two novel MP-driven methodologies, where: we first train an ML predictor to approximate the behaviour of A; then, we provide an explicit description of its mathematical properties and embed the resulting encoding into an MP formulation F; finally, when we need to use A on a new input, we optimize F to retrieve the parameter configuration of A yielding the best algorithmic performance for that input. Furthermore, we consider a methodology for finding a realization of a graph in a Euclidean space of given dimension. This is known as the distance geometry problem, and we propose a new MP formulation for solving it. Our research is partly motivated by the fact that it can serve as a graph embedding methodology, in view of applying vector-based ML paradigms to graphs

Configuration algorithmique par apprentissage et optimisation

Les sujets de recherche décrits dans cette thèse de doctorat se situent à l'intersection du Machine Learning (ML) et de la Programmation Mathématique (PM). Les principales contributions concernent le problème de la configuration des algorithmes (ACP) et le problème de la géométrie des distances (DGP).Dans la première partie du manuscrit, nous présentons la PM et le ML.Dans la deuxième partie, nous passons en revue la littérature sur le ACP. Étant donné un algorithme configurable A et une entrée P pour A, le ACP aborde l'identification de la configuration des paramètres c* de A assurant la meilleure performance algorithmique p dans la résolution de P. Comme la plupart des algorithmes ont un très grand nombre de paramètres, cette tâche est très difficile en pratique.Nous proposons deux nouvelles méthodologies fondées sur la PM, utilisant les paradigmes de ML comme éléments apparaissant dans une formulation de PM, pour résoudre l'ACP. Puisque la performance algorithmique est généralement une fonction boîte noire (son expression analytique est inconnue), nous construisons d'abord un prédicteur ML pour estimer le comportement de A. Notamment, nous apprenons soit: a) une approximation de p, soit b) une approximation d'une fonction reliant P et un niveau de performance requis à toute configuration l'atteignant. Dans une deuxième phase, nous traduisons les propriétés mathématiques sous-jacentes à l'approximation apprise en termes de PM. Nous intégrons ces composants dans une formulation de PM. Son objectif optimise le prédicteur dérivé de ML ; ses contraintes encodent les conditions de dépendance/compatibilité sur les paramètres et, potentiellement, d'autres conditions sur le prédicteur. Cela nous permet de formuler l'ACP par PM et de l'optimiser, à l'arrivée d'une nouvelle instance P', pour récupérer la configuration algorithmique c* réalisant la meilleure performance algorithmique pour P'. On espère que c* est une bonne configuration pour résoudre effectivement l'instance P' avec A. Ce cadre peut être adapté pour fonctionner avec de nombreux paradigmes ML. Les méthodologies les plus importantes de la littérature, qui traitent l'ACP comme un problème de boîte noire, ne peuvent trouver que des configurations qui sont bonnes pour un ensemble d'instances ayant des caractéristiques similaires. Alors que les méthodologies de type boîte noire pourraient ne pas être adaptées à des situations où l'ensemble des configurations admissibles est large et où c* dépend de l'instance en question, les algorithmes de solution de PM devraient être plus efficaces, puisqu'ils utilisent une structure de problème. Notre travail sur la configuration des algorithmes est motivé par le problème de la recherche de la meilleure paramétrisation d'un algorithme de solution de PM (un solveur d’optimisation), déployé sur un problème de décision ou d'optimisation donné. En particulier, nous étudions comment les choix d'implémentation dans la phase d'apprentissage influencent non seulement la précision du prédicteur appris, mais aussi le coût de la résolution de la formulation de PM dérivé, donnant lieu à des compromis non triviaux.Dans la troisième partie du manuscrit, nous considérons une méthodologie pour résoudre le DGP, c’est à dire pour trouver une réalisation d'un graphe dans un espace euclidien de dimension donnée, où les arêtes sont réalisées comme des segments droits de longueur égale aux poids des arêtes. Une approche habituelle consiste à résoudre une formulation de PM pour déterminer la position des sommets dans l'espace euclidien donné. Nous proposons une nouvelle formulation de PM où, à la place, nous considérons les cycles du graphe, et nous décidons de la longueur des segments modélisant les arêtes de chaque cycle. Notre recherche est en partie motivée par le fait qu'elle peut servir de méthodologie de plongement de graphes, en vue d'appliquer aux graphes des paradigmes de ML basés sur les vecteurs.The research topics described in this Ph.D. thesis lie at the intersection of Machine Learning (ML) and Mathematical Programming (MP). The main contributions concern the Algorithm Configuration Problem (ACP) and the Distance Geometry Problem (DGP).In the first part of the manuscript, we provide introductions to MP and ML.In the second part, we survey the literature on the ACP. Given a configurable algorithm A and an input P for A, the ACP addresses the issue of identifying the parameter configuration c* of A ensuring the best algorithmic performance p in solving P. The ACP can be formulated as an optimization problem, where the constraints define the set of feasible configurations, and the objective optimizes the performance function p. Since most algorithms have a very large number of configurable parameters, this is usually a very hard task to tackle, in practice.We propose two novel MP-driven methodologies, using ML paradigms as elements appearing in an MP formulation, to address the ACP. Since algorithmic performance is usually a black-box function (i.e., its closed form analytical expression is unknown), we first train a ML predictor to estimate the behaviour of A. Notably, we learn either: a) an approximation of p, or b) an approximation of a function mapping P and a required performance level to any configuration achieving it. In a second phase, we translate the mathematical properties underlying the learned approximation into MP terms. We embed these components into an MP formulation. Its objective optimizes the ML-derived predictor; its constraints encode dependency/compatibility conditions over the parameters, required for a configuration to be feasible, and, potentially, other conditions on the learned approximation. This allows us to formulate the ACP by MP and to optimize it, upon the arrival of a new instance P’, to retrieve the algorithmic configuration c* achieving the best (estimated) algorithmic performance for P’. Hopefully, c* is a good configuration for actually solving the instance P’ with A. This framework can be adapted to work with many ML paradigms, as long as one is capable of encoding the learned approximation by MP. The most prominent methodologies in the literature, treating the ACP as a black-box problem, can only find configurations which are good for a set of instances with similar characteristics. While black-box methodologies may not scale well to settings where the set of feasible configurations is large and c* depends on the instance at hand, MP solution algorithms should be more efficient, since they use a problem structure. Because of our interest in MP, our work in algorithm configuration is motivated by the problem of finding the best parametrization of an MP solution algorithm, deployed on a given decision or optimization problem. Specifically, we employ our approaches for tuning the parameters of an optimization solver, deployed on instances of a hard mixed-integer linear programming problem. In particular, we investigate how implementation choices in the learning phase affect not only the accuracy of the learned predictor, but also the cost of solving the derived MP formulation, yielding nontrivial trade-offs.In the third part of the manuscript, we consider a methodology for solving the DGP, i.e., for finding a realization of a graph in a Euclidean space of given dimension, where the edges are realized as straight segments of length equal to the edge weights. A customary approach is to solve a MP formulation to determine the position of the vertices in the given Euclidean space. We propose a new MP formulation where, instead, we consider the cycles of the graph, and we decide the length of the segments modelling the edges of each cycle. Our research is partly motivated by the fact that it can serve as a graph embedding methodology, in view of applying vector-based ML paradigms to graphs

Configuration algorithmique par apprentissage et optimisation

The research topics described in this Ph.D. thesis lie at the intersection of Machine Learning (ML) and Mathematical Programming (MP). The main contributions concern the Algorithm Configuration Problem (ACP) and the Distance Geometry Problem (DGP).In the first part of the manuscript, we provide introductions to MP and ML.In the second part, we survey the literature on the ACP. Given a configurable algorithm A and an input P for A, the ACP addresses the issue of identifying the parameter configuration c* of A ensuring the best algorithmic performance p in solving P. The ACP can be formulated as an optimization problem, where the constraints define the set of feasible configurations, and the objective optimizes the performance function p. Since most algorithms have a very large number of configurable parameters, this is usually a very hard task to tackle, in practice.We propose two novel MP-driven methodologies, using ML paradigms as elements appearing in an MP formulation, to address the ACP. Since algorithmic performance is usually a black-box function (i.e., its closed form analytical expression is unknown), we first train a ML predictor to estimate the behaviour of A. Notably, we learn either: a) an approximation of p, or b) an approximation of a function mapping P and a required performance level to any configuration achieving it. In a second phase, we translate the mathematical properties underlying the learned approximation into MP terms. We embed these components into an MP formulation. Its objective optimizes the ML-derived predictor; its constraints encode dependency/compatibility conditions over the parameters, required for a configuration to be feasible, and, potentially, other conditions on the learned approximation. This allows us to formulate the ACP by MP and to optimize it, upon the arrival of a new instance P’, to retrieve the algorithmic configuration c* achieving the best (estimated) algorithmic performance for P’. Hopefully, c* is a good configuration for actually solving the instance P’ with A. This framework can be adapted to work with many ML paradigms, as long as one is capable of encoding the learned approximation by MP. The most prominent methodologies in the literature, treating the ACP as a black-box problem, can only find configurations which are good for a set of instances with similar characteristics. While black-box methodologies may not scale well to settings where the set of feasible configurations is large and c* depends on the instance at hand, MP solution algorithms should be more efficient, since they use a problem structure. Because of our interest in MP, our work in algorithm configuration is motivated by the problem of finding the best parametrization of an MP solution algorithm, deployed on a given decision or optimization problem. Specifically, we employ our approaches for tuning the parameters of an optimization solver, deployed on instances of a hard mixed-integer linear programming problem. In particular, we investigate how implementation choices in the learning phase affect not only the accuracy of the learned predictor, but also the cost of solving the derived MP formulation, yielding nontrivial trade-offs.In the third part of the manuscript, we consider a methodology for solving the DGP, i.e., for finding a realization of a graph in a Euclidean space of given dimension, where the edges are realized as straight segments of length equal to the edge weights. A customary approach is to solve a MP formulation to determine the position of the vertices in the given Euclidean space. We propose a new MP formulation where, instead, we consider the cycles of the graph, and we decide the length of the segments modelling the edges of each cycle. Our research is partly motivated by the fact that it can serve as a graph embedding methodology, in view of applying vector-based ML paradigms to graphs.Les sujets de recherche décrits dans cette thèse de doctorat se situent à l'intersection du Machine Learning (ML) et de la Programmation Mathématique (PM). Les principales contributions concernent le problème de la configuration des algorithmes (ACP) et le problème de la géométrie des distances (DGP).Dans la première partie du manuscrit, nous présentons la PM et le ML.Dans la deuxième partie, nous passons en revue la littérature sur le ACP. Étant donné un algorithme configurable A et une entrée P pour A, le ACP aborde l'identification de la configuration des paramètres c* de A assurant la meilleure performance algorithmique p dans la résolution de P. Comme la plupart des algorithmes ont un très grand nombre de paramètres, cette tâche est très difficile en pratique.Nous proposons deux nouvelles méthodologies fondées sur la PM, utilisant les paradigmes de ML comme éléments apparaissant dans une formulation de PM, pour résoudre l'ACP. Puisque la performance algorithmique est généralement une fonction boîte noire (son expression analytique est inconnue), nous construisons d'abord un prédicteur ML pour estimer le comportement de A. Notamment, nous apprenons soit: a) une approximation de p, soit b) une approximation d'une fonction reliant P et un niveau de performance requis à toute configuration l'atteignant. Dans une deuxième phase, nous traduisons les propriétés mathématiques sous-jacentes à l'approximation apprise en termes de PM. Nous intégrons ces composants dans une formulation de PM. Son objectif optimise le prédicteur dérivé de ML ; ses contraintes encodent les conditions de dépendance/compatibilité sur les paramètres et, potentiellement, d'autres conditions sur le prédicteur. Cela nous permet de formuler l'ACP par PM et de l'optimiser, à l'arrivée d'une nouvelle instance P', pour récupérer la configuration algorithmique c* réalisant la meilleure performance algorithmique pour P'. On espère que c* est une bonne configuration pour résoudre effectivement l'instance P' avec A. Ce cadre peut être adapté pour fonctionner avec de nombreux paradigmes ML. Les méthodologies les plus importantes de la littérature, qui traitent l'ACP comme un problème de boîte noire, ne peuvent trouver que des configurations qui sont bonnes pour un ensemble d'instances ayant des caractéristiques similaires. Alors que les méthodologies de type boîte noire pourraient ne pas être adaptées à des situations où l'ensemble des configurations admissibles est large et où c* dépend de l'instance en question, les algorithmes de solution de PM devraient être plus efficaces, puisqu'ils utilisent une structure de problème. Notre travail sur la configuration des algorithmes est motivé par le problème de la recherche de la meilleure paramétrisation d'un algorithme de solution de PM (un solveur d’optimisation), déployé sur un problème de décision ou d'optimisation donné. En particulier, nous étudions comment les choix d'implémentation dans la phase d'apprentissage influencent non seulement la précision du prédicteur appris, mais aussi le coût de la résolution de la formulation de PM dérivé, donnant lieu à des compromis non triviaux.Dans la troisième partie du manuscrit, nous considérons une méthodologie pour résoudre le DGP, c’est à dire pour trouver une réalisation d'un graphe dans un espace euclidien de dimension donnée, où les arêtes sont réalisées comme des segments droits de longueur égale aux poids des arêtes. Une approche habituelle consiste à résoudre une formulation de PM pour déterminer la position des sommets dans l'espace euclidien donné. Nous proposons une nouvelle formulation de PM où, à la place, nous considérons les cycles du graphe, et nous décidons de la longueur des segments modélisant les arêtes de chaque cycle. Notre recherche est en partie motivée par le fait qu'elle peut servir de méthodologie de plongement de graphes, en vue d'appliquer aux graphes des paradigmes de ML basés sur les vecteurs

Combining Machine Learning and Mathematical Optimization techniques to tackle IBM ILOG CPLEX automatic configuration on Hydro Unit Commitment problems

This work want to build an approach that can select the best algorithmic parameters of the optimization solver IBM ILOG CPLEX, for solving instances of a specific Hydro Unit Commitment problem, This goal is achieved by mixing Machine Learning and Mathematical optimization methods and algorithms

Configuration algorithmique par apprentissage et optimisation

The research topics described in this Ph.D. thesis lie at the intersection of Machine Learning (ML) and Mathematical Programming (MP). The main contributions concern the Algorithm Configuration Problem (ACP) and the Distance Geometry Problem (DGP).In the first part of the manuscript, we provide introductions to MP and ML.In the second part, we survey the literature on the ACP. Given a configurable algorithm A and an input P for A, the ACP addresses the issue of identifying the parameter configuration c* of A ensuring the best algorithmic performance p in solving P. The ACP can be formulated as an optimization problem, where the constraints define the set of feasible configurations, and the objective optimizes the performance function p. Since most algorithms have a very large number of configurable parameters, this is usually a very hard task to tackle, in practice.We propose two novel MP-driven methodologies, using ML paradigms as elements appearing in an MP formulation, to address the ACP. Since algorithmic performance is usually a black-box function (i.e., its closed form analytical expression is unknown), we first train a ML predictor to estimate the behaviour of A. Notably, we learn either: a) an approximation of p, or b) an approximation of a function mapping P and a required performance level to any configuration achieving it. In a second phase, we translate the mathematical properties underlying the learned approximation into MP terms. We embed these components into an MP formulation. Its objective optimizes the ML-derived predictor; its constraints encode dependency/compatibility conditions over the parameters, required for a configuration to be feasible, and, potentially, other conditions on the learned approximation. This allows us to formulate the ACP by MP and to optimize it, upon the arrival of a new instance P’, to retrieve the algorithmic configuration c* achieving the best (estimated) algorithmic performance for P’. Hopefully, c* is a good configuration for actually solving the instance P’ with A. This framework can be adapted to work with many ML paradigms, as long as one is capable of encoding the learned approximation by MP. The most prominent methodologies in the literature, treating the ACP as a black-box problem, can only find configurations which are good for a set of instances with similar characteristics. While black-box methodologies may not scale well to settings where the set of feasible configurations is large and c* depends on the instance at hand, MP solution algorithms should be more efficient, since they use a problem structure. Because of our interest in MP, our work in algorithm configuration is motivated by the problem of finding the best parametrization of an MP solution algorithm, deployed on a given decision or optimization problem. Specifically, we employ our approaches for tuning the parameters of an optimization solver, deployed on instances of a hard mixed-integer linear programming problem. In particular, we investigate how implementation choices in the learning phase affect not only the accuracy of the learned predictor, but also the cost of solving the derived MP formulation, yielding nontrivial trade-offs.In the third part of the manuscript, we consider a methodology for solving the DGP, i.e., for finding a realization of a graph in a Euclidean space of given dimension, where the edges are realized as straight segments of length equal to the edge weights. A customary approach is to solve a MP formulation to determine the position of the vertices in the given Euclidean space. We propose a new MP formulation where, instead, we consider the cycles of the graph, and we decide the length of the segments modelling the edges of each cycle. Our research is partly motivated by the fact that it can serve as a graph embedding methodology, in view of applying vector-based ML paradigms to graphs.Les sujets de recherche décrits dans cette thèse de doctorat se situent à l'intersection du Machine Learning (ML) et de la Programmation Mathématique (PM). Les principales contributions concernent le problème de la configuration des algorithmes (ACP) et le problème de la géométrie des distances (DGP).Dans la première partie du manuscrit, nous présentons la PM et le ML.Dans la deuxième partie, nous passons en revue la littérature sur le ACP. Étant donné un algorithme configurable A et une entrée P pour A, le ACP aborde l'identification de la configuration des paramètres c* de A assurant la meilleure performance algorithmique p dans la résolution de P. Comme la plupart des algorithmes ont un très grand nombre de paramètres, cette tâche est très difficile en pratique.Nous proposons deux nouvelles méthodologies fondées sur la PM, utilisant les paradigmes de ML comme éléments apparaissant dans une formulation de PM, pour résoudre l'ACP. Puisque la performance algorithmique est généralement une fonction boîte noire (son expression analytique est inconnue), nous construisons d'abord un prédicteur ML pour estimer le comportement de A. Notamment, nous apprenons soit: a) une approximation de p, soit b) une approximation d'une fonction reliant P et un niveau de performance requis à toute configuration l'atteignant. Dans une deuxième phase, nous traduisons les propriétés mathématiques sous-jacentes à l'approximation apprise en termes de PM. Nous intégrons ces composants dans une formulation de PM. Son objectif optimise le prédicteur dérivé de ML ; ses contraintes encodent les conditions de dépendance/compatibilité sur les paramètres et, potentiellement, d'autres conditions sur le prédicteur. Cela nous permet de formuler l'ACP par PM et de l'optimiser, à l'arrivée d'une nouvelle instance P', pour récupérer la configuration algorithmique c* réalisant la meilleure performance algorithmique pour P'. On espère que c* est une bonne configuration pour résoudre effectivement l'instance P' avec A. Ce cadre peut être adapté pour fonctionner avec de nombreux paradigmes ML. Les méthodologies les plus importantes de la littérature, qui traitent l'ACP comme un problème de boîte noire, ne peuvent trouver que des configurations qui sont bonnes pour un ensemble d'instances ayant des caractéristiques similaires. Alors que les méthodologies de type boîte noire pourraient ne pas être adaptées à des situations où l'ensemble des configurations admissibles est large et où c* dépend de l'instance en question, les algorithmes de solution de PM devraient être plus efficaces, puisqu'ils utilisent une structure de problème. Notre travail sur la configuration des algorithmes est motivé par le problème de la recherche de la meilleure paramétrisation d'un algorithme de solution de PM (un solveur d’optimisation), déployé sur un problème de décision ou d'optimisation donné. En particulier, nous étudions comment les choix d'implémentation dans la phase d'apprentissage influencent non seulement la précision du prédicteur appris, mais aussi le coût de la résolution de la formulation de PM dérivé, donnant lieu à des compromis non triviaux.Dans la troisième partie du manuscrit, nous considérons une méthodologie pour résoudre le DGP, c’est à dire pour trouver une réalisation d'un graphe dans un espace euclidien de dimension donnée, où les arêtes sont réalisées comme des segments droits de longueur égale aux poids des arêtes. Une approche habituelle consiste à résoudre une formulation de PM pour déterminer la position des sommets dans l'espace euclidien donné. Nous proposons une nouvelle formulation de PM où, à la place, nous considérons les cycles du graphe, et nous décidons de la longueur des segments modélisant les arêtes de chaque cycle. Notre recherche est en partie motivée par le fait qu'elle peut servir de méthodologie de plongement de graphes, en vue d'appliquer aux graphes des paradigmes de ML basés sur les vecteurs

Algorithmic configuration by learning and optimization

International audienceWe propose a methodology, based on machine learning and optimization, for selecting a solver configuration for a given instance. First, we employ a set of solved instances and configurations in order to learn a performance function of the solver. Secondly, we solve a mixed-integer nonlinear program in order to find the best algorithmic configuration based on the performance function